Som teenagers mødtes Allie (Rachel Adams) og Noah Ryan Gosling. De forelsker sig over hals og hoved og deler en uforglemmelig sommer sammen i det sydlige USA. Allies overklasse forældre ønsker for intet i verden at hun skal gifte sig med en knægt fra arbejderklassen og sætter en stopper for forholdet. Allie drager bort for at starte på skole, mens Noah bliver tilbage. Han skriver breve til hende hver dag i et år, men får aldrig svar. Da de ved et tilfælde mødes mange år senere er det for sent Allie er forlovet og skal giftes. Historien om Allie og Noah er skrevet i en gammel notesbog og har stor betydning for Duke (James Garner), en ældre herre, der dagligt besøger sin veninde (Gena Rowlands) på alderdomshjemmet. Han læser historien for hende igen og igen, men lige lidt hjælper det. Hun er senil og husker intet